Enhancing weather data reconstruction through hybridmethods with dimensionality reduction

Mestrado de dupla diplomação com a UTFPR - Universidade Tecnológica Federal do ParanáAccurate weather analysis and forecasting rely on complete historical data. However, missing weather data often occurs due to sensor failures, data transmission issues, or limited monitoring capabilities. Reconstructing this missing data is crucial for reliableweather analysis. The Analog Ensemble (AnEn) method leverages past weather events and information from nearby stations to reconstruct and forecast data. However, incorporating nearby stations significantly increases computational costs, making the reconstruction process time consuming. To address this challenge, this dissertation integrates AnEn with dimension reduction techniques: Principal Component Analysis (PCA) and Partial Least Squares (PLS). Four hybrid methods—PCAnEn, PLSAnEn, PCClustAnEn, and PLSClustAnEn—are developed to enhance computational performance while maintaining or improving accuracy. Through four studies using three datasets, this research focuses on reconstructing six variables: wind-related variables, temperature, pressure, and humidity. The hybrid methods improved accuracy compared to the original AnEn. Notably, PLSAnEn achieves the highest reconstruction accuracy, while PLSR exhibits the fastest processing times. Additionally, PLSClustAnEn also proves to be a alternative for data reconstruction. The findings of this research contribute to the portfolio of strategies for addressing missing weather data.A análise e a previsão climática beneficiam de dados históricos completos. No entanto, é comum faltarem dados meteorológicos devido a falhas nos sensores, problemas na transmissão de dados ou limitações nas capacidades de monitoramento. A reconstrução desses dados ausentes é crucial para uma análise climática confiável. O método Analog Ensemble (AnEn) utiliza eventos meteorológicos passados e informações de estações próximas para reconstruir e prever dados. No entanto, a incorporação de estações próximas aumenta significativamente os custos computacionais, tornando o processo de reconstrução bastante demorado. Para enfrentar esse desafio, esta dissertação integra o AnEn com técnicas de redução de dimensionalidade: Análise de Componentes Principais (PCA) e Mínimos Quadrados Parciais (PLS). Quatro métodos híbridos - PCAnEn, PLSAnEn, PCClustAnEn e PLSClustAnEn - são desenvolvidos para melhorar o desempenho computacional, mantendo ou aumentando a precisão. Por meio de quatro estudos utilizando três conjuntos de dados, esta pesquisa concentrase na reconstrução de variáveis metereológicas. Os métodos híbridos aprimoraram a precisão em comparação como AnEn original. Notavelmente, o PLSAnEn alcança a maior precisão de reconstrução, enquanto o PLSR é mais eficiente em termos computacionais. Além disso, o PLSClustAnEn também se mostra uma alternativa eficiente para a reconstrução de dados. Os resultados desta pesquisa contribuem para um portfólio de estratégias de reconstrução de dados meteorológicos